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RESUMO 


Objetivo: descrever a confiabilidade de questionário semi-estruturado para avaliar 
comportamento de risco de infecções sexualmente transmissíveis entre adultos 
com transtorno mental em estudo multicêntrico nacional (Projeto PESSOAS) e 
comparar com os resultados do estudo-piloto. Método: estudo de corte transver- 

sal em amostra representativa nacional de usuários de serviços de saúde mental. 
Foram selecionados aleatoriamente 11 hospitais psiquiátricos e 15 CAPS (Centro 

de Atenção Psicossocial) em todas as regiões do Brasil. Dados comportamentais 

e sociodemográficos foram coletados por meio de entrevista semi-estruturada e 
dados clínicos de prontuários médicos. Dos 2.475 pacientes entrevistados, 5,6% 
(n=139) foram aleatoriamente selecionados para reentrevista, com até uma semana 
de intervalo. A confiabilidade foi estimada pelo percentual de concordância e pelo 
coeficiente Kappa (intervalo de 95% de confiança). Resultados: o percentual de 
concordância observada variou de 64 a 99%, com índices Kappa variando de 0,12 a 
0,99. Para 23 (52,3%) das 44 variáveis avaliadas, ocorreu melhora no valor absoluto 
dos índices Kappa em relação ao estudo-piloto e 31 (70,5%) mantiveram a mesma 
faixa de classificação dos índices. Conclusões: a análise de confiabilidade indicou 
que a entrevista foi adequada para captar os comportamentos de risco entre pacien- 
tes com transtornos mentais. Isto reflete os resultados obtidos com o estudo-piloto, o 
treinamento das equipes e a qualidade do instrumento aplicado. 


Palavras-chave: Doenças Sexualmente Transmissíveis; Reprodutibilidade de Testes; 
Saúde Mental; Estudo Multicêntrico. 


ABSTRACT 


Objective: to describe the reliability of semi-structured questionnaire for the assessment 
ofrisk behaviors of sexually transmitted infections among adults with mental disorders in 
national multicenter study (Project PESSOAS) and to compare with the pilot study results. 
Method: transversal cutting study in national representative sample of mental health 
services users. 11 psychiatric hospitals and 15 CAPS (Centro de Atenção Psicossocial 

/ Psychosocial Care Center) have been randomly selected in every region in Brazil. Be- 
havior and sociodemographic data have been collected from semi-structured interviews 
and medical reports clinical data. From the 2.475 patients" interviews, 5,6% (n=139) have 
been randomly selected for new interviews, with up to one week interval. The reliability 
was evaluated through the accordance percentile and the Kappa coefficient (95% interval 
trust). Results: the accordance percentile observed varied from 64% to 99%, with the 
Kappa rates varying from 0,12 to 0,99. For 23 (52,3%) out of 44 evaluated variables, 
there have been the Kappa rates absolute value improvement in relation to the pilot study 
and 31 (70,5%) maintained the same classification band rate. Conclusions: the reliability 
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analysis showed that the interviews have been appropri- 
ate for understanding the risR behaviors among patients 
with mental disorders. This reflects the results obtained 
with the pilot study, the teams training and the quality of 
the applied tool. 


Key words: Sexually Transmitted Diseases; Reproducibil- 
ity of Results; Mental Health; Multicenter Stud). 


INTRODUÇÃO 


Indivíduos portadores de transtorno mental são 
sexualmente ativos e em geral apresentam elevado 
grau de comportamento de risco para as infecções 
sexualmente transmissíveis (IST), incluindo a in- 
fecção pelo HIV.!'2 Para se estudar adequadamen- 
te essa população, são necessários instrumentos 
desenhados especificamente para investigação 
do problema no contexto de países em desenvol- 
vimento.?* Um estudo multicêntrico nacional (Pro- 
jeto PESSOAS), resultado de esforço conjunto do 
Programa Nacional de DST e Aids, da Coordenação 
Nacional de Saúde Mental/MS, foi conduzido pelo 
GPEAS (Grupo de Pesquisas em Epidemiologia e 
Avaliação em Saúde /UFMG). Teve como objetivos 
avaliar o comportamento de risco e a prevalência 
de IST selecionadas (HIV, sífilis, hepatites Be C) 
em amostra representativa de pacientes adultos 
em tratamento em hospitais psiquiátricos públicos 
ou conveniados e centros de atenção psicossocial 
(CAPS) no Brasil 

Para se obterem dados sociodemográficos, 
comportamentais e clínicos de qualidade, desen- 
volveu-se especificamente para esta pesquisa um 
questionário semi-estruturado que foi submetido 
à avaliação e pré-teste em estudo-piloto que indi- 
cou ter o instrumento confiabilidade e validade de 
construto adequadas para captar comportamentos 
de risco nessa população.” Este artigo descreve a 
avaliação de confiabilidade do questionário semi- 
estruturado aplicado durante o estudo multicêntri- 
co e compara os resultados obtidos com aqueles 
do estudo-piloto. 


MÉTODOS 
Sujeitos e protocolo 


O Projeto PESSOAS apresenta delineamento do 
tipo corte transversal e foi conduzido no período 


de junho a setembro de 2006 em 11 hospitais psi- 
quiátricos e 15 CAPS, abrangendo todas as regiões 
do Brasil. O participante deveria ter 18 anos ou 
mais, ser portador de qualquer transtorno mental, 
estar internado ou em atendimento no CAPS du- 
rante o período indicado, ser apto a responder o 
questionário e ter assinado termo de consentimen- 
to livre e esclarecido. A amostra, constituída por 
usuários de serviços de saúde mental, foi estimada 
em 2.401 pacientes, tendo sido estratificada por re- 
gião do país, proporcionalmente à distribuição dos 
casos de AIDS notificados até dezembro de 2003, 
e por tipo de atendimento (hospitais e CAPS). As 
unidades de atendimento e os pacientes de cada 
unidade foram selecionados aleatoriamente. 

Os pacientes hospitalizados tiveram até sete 
dias para estabilização clínica. Além disto, as 
condições clínicas e mentais dos pacientes fo- 
ram avaliadas por experientes profissionais de 
saúde mental treinados para verificar a orienta- 
ção no tempo e espaço, a capacidade para com- 
preender os objetivos da pesquisa, a habilidade 
para responder perguntas do questionário, bem 
como para assinar o consentimento informado. 
Os profissionais de saúde mental foram também 
orientados para registrar qualquer alteração clí- 
nica durante a entrevista. O estudo teve aprova- 
ção do Comitê de Ética em Pesquisa da UFMG 
(UFMG/ETIC: 125/05) e do Conselho Nacional 
de Ética em Pesquisa (CONEP). O detalhamento 
metodológico encontra-se descrito em Guima- 
rães et al. (2008)º e disponível em http://www. 
saude.gov.br/bvs. 


Entrevista semi-estruturada 


À entrevista semi-estruturada foi conduzida face 
a face por profissionais de saúde mental e objetivou 
obter dados sociodemográficos (e.g. idade, sexo, 
raça, escolaridade, renda, estado civil); caracte- 
rísticas clínicas (e.g. história de IST, transfusão de 
sangue, internações psiquiátricas, uso de psicofár- 
macos e diagnósticos não psiquiátricos); caracterís- 
ticas comportamentais (e.g. comportamento sexual, 
uso de substâncias psicoativas lícitas ou ilícitas, his- 
tória de violência); e avaliação do conhecimento so- 
bre HIV/aids e a percepção de risco. Dados sobre o 
diagnóstico e o tratamento foram obtidos por meio 
de consulta aos prontuários médicos e codificados 
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de acordo com a CID-10. As etapas de construção 
do instrumento bem como o pré-teste da versão fi- 
nal estão descritos no estudo-piloto.7 O questioná- 
rio aplicado no estudo principal está disponível em: 
www.medicina.ufms.br/cpq/gpeas.php.º 


Análise de confiabilidade 


Após a entrevista, uma amostra aleatória de 
aproximadamente 5% dos pacientes entrevistados 
foi selecionada para re-entrevista, consideran- 
do a potencial variabilidade de entrevistadores 
e regiões onde a pesquisa foi aplicada. O prazo 
máximo permitido entre as duas aplicações foi 
de sete dias. A confiabilidade foi estimada pelo 
percentual de concordância observada e pelo ín- 
dice Kappa com intervalo de 95% de confiança. 
Na análise dos resultados, utilizou-se a classifica- 
ção proposta por Fleiss (1981) para interpretação 
dos índices: excelente (0,75 — 1,00), moderada a 
boa (0,40-0,749) e ruim (1,00 a 0,399).51º Para via- 
bilizar a comparação, foram adotados os mesmos 
procedimentos de organização e análise para os 
estudos piloto e principal. Os dados foram digita- 
dos utilizando-se o software Paradoxº e a análise 
foi desenvolvida pelo SASº. 


RESULTADOS 
Recrutamento 


Dos 2.475 pacientes entrevistados, a maio- 
ria era do sexo feminino (51,6%), tinha 40 ou 
mais anos de idade (54,6%), cor de pele branca 
(51,4%) e era de solteiros/separados quando da 
realização da pesquisa (62,6%). Em relação a va- 
riáveis clínicas, 57,9% tinham história anterior de 
internação em hospital psiquiátrico e os diagnós- 
ticos mais frequentes foram as esquizofrenias e 
as psicoses não especificadas (47,7%). A história 
de IST ao longo da vida foi relatada por 23,0% 
dos pacientes. A grande maioria já tivera relação 
sexual (87,6%) e uma menor proporção revelou- 
se sexualmente ativa nos últimos seis meses 
(61,3%). Apenas 8% dos entrevistados declara- 
ram ter usado preservativo em todas as relações 
sexuais na vida e somente 16,2% nas relações 
sexuais nos últimos seis meses. Não houve di- 
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ferença entre participantes e não-participantes 
em relação ao sexo, idade e diagnósticos psiqui- 
átricos (p valor > 0,05). 


Confiabilidade 


Foram entrevistados 139 pacientes (5,6%). O 
percentual de concordância observada variou 
de 64 a 99%, com índices Kappa de 0,12 a 1,00 
(Tabela 1). Entre as 44 variáveis para as quais a 
confiabilidade foi avaliada, 31 (70,5%) mantive- 
ram a mesma faixa de classificação dos índices 
Kappa tanto no estudo-piloto quanto no estudo 
multicêntrico: para 12 (27,3%), a concordância 
foi considerada “excelente”; para 20 (45,5%), 
“moderada a boa”; e para uma variável (2,3%), 
a concordância obtida foi “ruim” nos dois estu- 
dos. Para nove variáveis (20,5%), houve melhora 
de faixa dos Kappas obtidos, comparando o es- 
tudo multicêntrico ao estudo-piloto: três (6,8%) 
passaram de “ruim” a “moderada a boa” e seis 
(13,6%) passaram de “moderada a boa” a “exce- 
lente”. Finalmente, apenas para quatro variáveis 
(9,1%) houve piora de faixa do estudo multicên- 
trico em relação ao piloto (de “excelente” para 
“moderada a boa”). Além disso, mais de 50% das 
variáveis sobre comportamentos apresentaram 
índices Kappa excelentes. 

Para 23 (52,3%) das 44 variáveis, ocorreu me- 
lhoria no valor absoluto dos Kappas. Ademais, 
a média dos índices Kappa do estudo multi- 
cêntrico em relação à média desses índices do 
estudo-piloto aumentou de 0,679 a 0,712, man- 
tendo-se na faixa de concordância “moderada 
a boa”. Esses valores foram, respectivamente, 
de 0,702 e de 0,724, no caso da mediana, a qual 
também permaneceu na faixa de concordãn- 
cia “moderada a boa” no estudo multicêntrico. 
Observa-se que as variáveis sociodemográficos 
(Kappa=0,571 a 0,986), comportamentais (Ka- 
ppa=0,463 a 0,941) ou clínicas (Kappa=0,352 a 
0,941) apresentaram confiabilidade equivalente 
nos dois estudos, incluindo questões sobre ren- 
da, consumo de substâncias psicoativas, inclusi- 
ve ilícitas, comportamentos sexuais e história de 
violência. Chama a atenção a excelente confia- 
bilidade (Kappa=0,851) para a comparação dos 
diagnósticos psiquiátricos registrados nos pron- 
tuários médicos. 


Avaliação da confiabilidade de entrevista aplicada a indivíduos com transtornos mentais: Projeto PESSOAS 


Tabela 1 - Análise de confiabilidade de variáveis selecionadas!, Projeto PESSOAS, 2006. 
Estudo Multicêntrico (n=139) 


Variáveis 

Sociodemográficas 

Sexo 

Ter filhos 

Renda nos últimos 6 meses 

Situação conjugal 

Principal fonte de renda 

Ter plano de saúde 

Saber ler e escrever 

Cor 

Ter sido morador de rua 

Pertencer a culto religioso 

Parte da renda que o paciente retém 
Morar só 

Ser religioso e praticante 
Comportamentais 

Tabagismo 

História de consumo de álcool 

Uso de maconha alguma vez na vida 
Uso de cocaína alguma vez na vida 
Ter sofrido algum tipo de violência sexual 
História de prisão 

Sexo que sente atração sexual 
História de relação sexual dentro da institu- 
ição 

História de relação sexual na vida 
Ter sofrido violência física na vida 


Ter recebido dinheiro ou drogas em troca de 
sexo na vida 


Uso de preservativo na última relação sexual 
Frequência do uso de preservativos nos 
últimos 6 meses 

Uso de maconha nos últimos 12 meses 

Uso de preservativos na vida 

Ter oferecido dinheiro ou drogas emtroca de 
sexo na vida 

Uso de cocaína nos últimos 12 meses 

Ter sofrido violência verbal alguma vez 


Ter injetado droga na veia alguma vez na vida 


CO” %) 


98 
96 
84 
90 
n 
94 
98 
84 
89 
90 
69 
90 
81 


100 
84 
89 
93 
88 
93 
91 


96 


100 
86 


95 
84 
53 


91 
14 


86 


93 
60 
98 


Kappa” 


0,949 
0,925 
0,667 
0,823 
0,619 
0,559 
0,875 
0,729 
0,722 
0,672 
0,568 
0,716 
0,645 


1,000 
0,614 
0,771 
0,814 
0,702 
0,840 
0,864 


0,751 


1,000 
0,513 


0,836 
0,705 
0,477 


0,794 
0,733 


0,660 


0,587 
0,359 
0,487 


Estudo-Piloto (n=80) 


IC! 95% 


(0,879-1,000) 
(0,842-1,000) 
(0,502-0,832) 
(0,709-0,938) 
(0,492-0,747) 
(0,245-0,872) 
(0,705-1,000) 
(0,591-0,866) 
(0,552-0,892) 
(0,462-0,882) 
(0,435-0,701) 
(0,535-0,898) 
(0,496-0,794) 


(1,000-1,000) 
(0,431-0,798) 
(0,630-0,912) 
(0,673-0,955) 
(0,535-0,869) 
(0,717-0,963) 
(0,772-0,956) 


(0,482-1,000) 


(1,000-1,000) 
(0,266-0,761) 


(0,681-0,992) 
(0,560-0,850) 
(0,319-0,635) 


(0,649-0,939) 
(0,627-0,840) 


(0,476-0,844) 


(0,290-0,883) 
(0,214-0,504) 
(-0,123-0,714) 


CO%%) 


99 
96 
95 
89 
86 
95 
94 
85 
91 
91 
14 
91 
75 


97 
96 
96 
96 
95 
94 
87 


94 


96 
88 


89 
82 


11 


93 
13 


83 


96 
81 
91 


Kappa” 


0,986 
0,912 
0,887 
0,831 
0,826 
0,785 
0,746 
0,737 
0,127 
0,651 
0,649 
0,576 
0,571 


0,941 
0,907 
0,892 
0,863 
0,857 
0,827 
0,796 


0,776 


0,763 
0,750 


0,724 
0,655 
0,651 


0,650 
0,640 


0,636 


0,598 
0,546 
0,463 


IC! 95% 


(0,957-1,000) 
(0,843-0,981) 
(0,805-0,969) 
(0,752-0,911) 
(0,754-0,898) 
(0,633-0,936) 
(0,590-0,902) 
(0,636-0,839) 
(0,583-0,871) 
(0,480-0,823) 
(0,554-0,744) 
(0,361-0,792) 
(0,452-0,690) 


(0,884-0,997) 
(0,835-0,980) 
(0,808-0,976) 
(0,746-0,980) 
(0,755-0,959) 
(0,719-0,936) 
(0,714-0,878) 


(0,634-0,918) 


(0,563-0,963) 
(0,640-0,860) 


(0,595-0,852) 


(0,536-0,773) 
(0,548-0,755) 


(0,450-0,849) 
(0,543-0,737) 


(0,502-0,770) 


(0,278-0,918) 
(0,393-0,699) 
(0,212-0,714) 


(Continua...) 
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Tabela 1 - Análise de confiabilidade de variáveis selecionadas!, Projeto PESSOAS, 2006 (Continuação). 
Estudo Multicêntrico (n=139) 


Clínicas CO %) Kappa” 
História de internação psiquiátrica 99 0,958 
Diagnóstico psiquiátrico (prontuários) 90 0,844 
Ter feito exame para AIDS 1 0,519 
Ter ouvido falar sobre HIV/AIDS 100 1,000 
História de DST 88 0,729 
Sabe nome dos remédios que utiliza 80 0,548 
ig CD SM A 
História de vacinação contra hepatite B 55 0,252 
Percepção de risco para adquirir HIV 56 0,340 
História de transfusão sanguínea 85 0,511 
Relato de incômodo com psicofármacos 18 0,562 
ad Ra com sangue/material 88 0,362 
Média 85 0,679 
Mediana 88 0,702 


Estudo-Piloto (n=80) 


IC* 95% CO%(%) Kappa IC! 95% 
(0,876-1,000) 97 0,941 (0,884-0,998) 
(0,700-0,989) 89 0,851 (0,782-0,920) 
(0,352-0,687) 89 0,734 (0,617-0,851) 
(1,000-1,000) 97 0,720 (0,477-0,964) 
(0,577-0,882) 88 0,708 (0,576-0,840) 
(0,358-0,737) 85 0,628 (0,484-0,771) 
(0,231-0,623) 81 0,626 (0,497-0,755) 
(0,081-0,424) 10 0,545 (0,432-0,657) 
(0,255-0,545) 64 0,532 (0,429-0,635) 
(0,279-0,742) 87 0,512 (0,318-0,707) 
(0,388-0,736) 71 0,508 (0,364-0,652) 
(0,071-0,653) 87 0,352 (0,124-0,580) 

88 0,712 
89 0,724 


! Tabela ordenada por ordem decrescente do valor de Kappa do estudo multicêntrico, ? Concordância observada, ? Indicado em negrito valores de Kappa 
excelente, * Intervalo de confiança 


7 


DISCUSSÃO 


Neste estudo multicêntrico, assim como no pi- 
loto, o questionário semi-estruturado demonstrou 
adequada confiabilidade. O índice Kappa indicou 
concordância moderada a excelente na maioria 
das questões, embora, em estudos sobre o com- 
portamento sexual e situações de vulnerabilidade, 
as respostas possam ser afetadas pela memória, 
preconceito e condições clínicas, especialmente 
em pacientes com transtornos mentais. 

Estudos de confiabilidade publicados sobre 
essa população foram realizados somente em paí- 
ses desenvolvidos, as amostras são pequenas e não 
foram encontrados registros de análises de compa- 
ração entre um estudo-piloto prévio e a aplicação 
do mesmo instrumento durante o estudo principal, 
como este artigo reporta.!!!º Ademais, nesta pes- 
quisa a amostra foi maior do que a utilizada em 
outros estudos de confiabilidade de instrumentos 
em populações semelhantes.!-!5 

Resultados de outros estudos de confiabilidade 
se assemelham aos do Projeto PESSOAS. Sohler et 
allê aplicaram um questionário de auto-resposta 
duas vezes, com intervalo de uma a duas sema- 
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nas, em 39 moradores de rua do sexo masculino e 
portadores de transtorno mental grave, relatando 
índice Kappa variando de 0,69 a 0,93. Mckinnon et 
al! também encontraram valores altos de Kappa 
(0,82) em 27 pacientes portadores de transtorno 
mental grave após estabilização do quadro clínico, 
no exame de relatos da atividade sexual recente. 
Carey et al.8, em pesquisa com 66 pacientes ambu- 
latoriais, aplicaram questionário para avaliar com- 
portamento sexual de risco e encontraram valores 
de coeficientes de correlação intraclasse (CCI) va- 
riando de 0,47 a 0,98. Mahler! obteve valores de 
CCI de 0,72 para frequência do uso de preservati- 
vos e 0,95 para número de parceiros. Rosenberg et 
al!, em 77 usuários de serviços de saúde mental, 
relataram índices Kappa de 0,66 a 0,96, variando 
a confiabilidade entre boa e excelente para os di- 
versos itens. Kalichman et al.!º avaliaram somente 
a concordância simples e descreveram valores su- 
periores a 90%. 

Ressalta-se a coerência entre a confiabilidade 
dos dados observados no Projeto PESSOAS - cuja 
avaliação abrangeu amostra aleatória de aproxi- 
madamente 5% distribuídos entre os 26 centros 
participantes - e os resultados do estudo-piloto, es- 
pecificamente delineado para testar e avaliar os ins- 
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trumentos e protocolo da pesquisa e conduzido em 
dois centros semelhantes ao do estudo principal.” 

À confiabilidade das medidas assinala sua con- 
sistência obtida por um instrumento ou por um 
examinador nas mesmas condições de avaliação. 
O estudo demonstrou que entrevistadores treina- 
dos utilizando o instrumento na maioria das vezes 
são capazes de obter respostas confiáveis. Por ou- 
tro lado, pacientes com transtornos mentais inter- 
nados ou frequentando CAPS, muitas vezes graves, 
são capazes de oferecer respostas confiáveis. É im- 
portante assinalar que não há publicações que te- 
nham avaliado a confiabilidade do comportamen- 
to sexual de risco ao longo da vida em populações 
semelhantes. Em geral, essas pesquisas centram 
suas comparações em histórias recentes como últi- 
mos três ou seis meses. 

Concluindo, a análise de confiabilidade indi- 
cou que a entrevista foi adequada para captar os 
comportamentos de risco nessa população. Isto 
reflete os resultados obtidos com o estudo-piloto 
e a qualidade do instrumento aplicado. O ques- 
tionário pode ser uma valiosa ferramenta para 
investigação por profissionais treinados de popula- 
ções com aspectos semelhantes de alto risco, para 
correto aconselhamento e intervenção precoce e 
encontra-se disponível em www.medicina.ufms. 
br/cpa/gpeas.php.º 
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